Diagnosing and Mitigating Context Rot in Long-horizon Search
长程搜索中上下文腐烂的诊断与缓解
🧭 上下文腐烂诊断与缓解策略
Shanghai Jiao Tong University · Fudan University · SII · GAIR
揭示长上下文导致LLM放弃回答的现象，提出上下文管理与拒绝采样两种缓解策略
📌 工作参考价值（4 点）
- 长程搜索Agent（如电商多步查询）可采用滑动窗口、摘要等上下文管理方法防止性能衰减，论文给出的七种方法对比可作为选型参考
- 后验拒绝采样策略：对Agent输出进行一致性过滤或置信度校准，过滤掉因上下文过长而冒出的放弃性答案，提升回答可靠性
- 诊断思路复用：可在线评估并监控模型在长上下文下的“放弃率”，一旦发现显著上升，自动触发上下文压缩或截断
- 工程实现上，将上下文管理与拒绝采样组合部署，可在不增加过多成本的情况下获得稳定收益